import pandas as pd
# Εισαγωγή του eshop_revenues
eshop_revenues = pd.read_csv("https://raw.githubusercontent.com/Datakortex/Datasets/refs/heads/main/eshop_revenues.csv")Μηχανική μάθηση με γραμμική παλινδρόμηση
Εισαγωγή
Στα Κεφάλαια Συσχέτιση και απλή γραμμική παλινδρόμηση και Πολλαπλή γραμμική παλινδρόμηση και στατιστική συμπερασματολογία, συζητήσαμε πώς μπορεί να χρησιμοποιηθεί η γραμμική παλινδρόμηση για στατιστική συμπερασματολογία. Συγκεκριμένα, δείξαμε ότι, υπό τις υποθέσεις Gauss–Markov, οι εκτιμητές είναι BLUE (βέλτιστοι γραμμικοί αμερόληπτοι εκτιμητές) και μπορούμε να τους χρησιμοποιήσουμε για να αξιολογήσουμε αν η συσχέτιση μεταξύ μιας ανεξάρτητης μεταβλητής και της εξαρτημένης μεταβλητής είναι στατιστικά σημαντική.
Ωστόσο, η γραμμική παλινδρόμηση δεν περιορίζεται στη στατιστική συμπερασματολογία· μπορεί επίσης να εφαρμοστεί ως εργαλείο μηχανικής μάθησης. Σε αυτό το κεφάλαιο, εστιάζουμε στη χρήση της γραμμικής παλινδρόμησης από προβλεπτική σκοπιά. Δείχνουμε πώς να εκπαιδεύσουμε ένα μοντέλο σε ένα σύνολο δεδομένων και να αξιολογήσουμε την απόδοσή του σε ένα νέο σύνολο δεδομένων, που δεν έχει δει. Στην πορεία, δείχνουμε ότι το μοντέλο που έχει βελτιστοποιηθεί για πρόβλεψη μπορεί να διαφέρει από εκείνο που χρησιμοποιείται για στατιστική συμπερασματολογία, ανάλογα με τον στόχο, καθώς και πώς επιλογές όπως η προσθήκη προβλεπτικών μεταβλητών ή αλληλεπιδράσεων μπορούν να επηρεάσουν την προβλεπτική απόδοση.
Αυτό το κεφάλαιο παρουσιάζει επίσης το scikit-learn, τη βιβλιοθήκη μηχανικής μάθησης που χρησιμοποιείται ευρύτερα στην Python. Αν και το υποκείμενο μοντέλο γραμμικής παλινδρόμησης παραμένει το ίδιο, το scikit-learn προσφέρει μια διαφορετική ροή εργασίας, που δίνει έμφαση στην εκπαίδευση του μοντέλου, στην πρόβλεψη και στην αξιολόγηση της απόδοσης. Αυτή η ροή εργασίας αποτελεί τη βάση για πολλές από τις μεθόδους μηχανικής μάθησης που παρουσιάζονται στα επόμενα κεφάλαια.
Απλή γραμμική παλινδρόμηση στη μηχανική μάθηση
Ας ξεκινήσουμε φορτώνοντας το Pandas και εισάγοντας το σύνολο δεδομένων eshop_revenues:
Τεχνικά, θα έπρεπε πρώτα να προχωρήσουμε σε διερευνητική ανάλυση δεδομένων, προεπεξεργασία δεδομένων και feature engineering. Ωστόσο, είμαστε ήδη εξοικειωμένοι με αυτό το σύνολο δεδομένων από προηγούμενα κεφάλαια και, για να κρατήσουμε τα πράγματα απλά, εστιάζουμε απευθείας στη φάση εκπαίδευσης-ελέγχου. Επειδή η εργασία μας είναι να κάνουμε καλές προβλέψεις, πρέπει να βεβαιωθούμε ότι αυτές οι προβλέψεις θα γίνουν σε ένα σύνολο δεδομένων που το μοντέλο μας δεν έχει δει κατά τη φάση της εκτίμησης (εκπαίδευση).
Πριν χρησιμοποιήσουμε τη συνάρτηση train_test_split(), όμως, διαχωρίζουμε τις προβλεπτικές μεταβλητές από τη μεταβλητή-στόχο δημιουργώντας δύο διαφορετικά objects: το X για τις προβλεπτικές μεταβλητές και το y για τη μεταβλητή-στόχο. Μπορούμε να το κάνουμε αυτό δημιουργώντας Series/DataFrames του Pandas από τις σχετικές στήλες του συνόλου δεδομένων μας. Στη συνέχεια, χρησιμοποιούμε τη συνάρτηση train_test_split(), η οποία δέχεται ως εισόδους τις προβλεπτικές μεταβλητές (X) και τη μεταβλητή-στόχο (y) και τις χωρίζει τυχαία σε training set και test set. Στον παρακάτω κώδικα, το όρισμα test_size = 0.20 ορίζει ότι το 20% των παρατηρήσεων θα πρέπει να διατεθεί στο test set, ενώ το υπόλοιπο 80% χρησιμοποιείται για την εκπαίδευση του μοντέλου. Επίσης, το όρισμα random_state = 42 ορίζει το seed της γεννήτριας τυχαίων αριθμών, εξασφαλίζοντας ότι λαμβάνεται ο ίδιος διαχωρισμός κάθε φορά που εκτελείται ο κώδικας.
from sklearn.model_selection import train_test_split
# Διαχωρισμός των προβλεπτικών μεταβλητών από τη μεταβλητή-στόχο
X = eshop_revenues[["Ad_Spend"]]
y = eshop_revenues["Revenue"]
# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size = 0.20, random_state = 42
)Η συνάρτηση train_test_split() επιστρέφει τέσσερα objects:
Τα
X_trainκαιy_train, τα οποία περιέχουν τις τιμές των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου που χρησιμοποιούνται για την εκπαίδευση του μοντέλου.Τα
X_testκαιy_test, τα οποία περιέχουν τα αντίστοιχα δεδομένα που προορίζονται για την αξιολόγηση του μοντέλου.
Κρατώντας τις παρατηρήσεις του test set ξεχωριστά κατά την εκπαίδευση του μοντέλου, μπορούμε να έχουμε μια πιο ρεαλιστική εκτίμηση του πόσο καλά είναι πιθανό να αποδώσει το μοντέλο σε νέα δεδομένα, που δεν έχει δει.
Σημειώστε ότι, επειδή το scikit-learn αναμένει οι προβλεπτικές μεταβλητές να δίνονται ως δισδιάστατη δομή (όπου οι γραμμές αναπαριστούν παρατηρήσεις και οι στήλες προβλεπτικές μεταβλητές), χρησιμοποιούμε διπλές αγκύλες όταν επιλέγουμε τη στήλη Ad_Spend. Έτσι, το X παραμένει DataFrame με μία στήλη, αντί να μετατραπεί σε Series του Pandas. Η μεταβλητή-στόχος y, από την άλλη πλευρά, αποθηκεύεται ως Series του Pandas, επειδή αναπαριστά ένα μεμονωμένο αποτέλεσμα που θέλουμε να προβλέψει το μοντέλο.
Μπορούμε να εξετάσουμε αυτά τα τέσσερα διαφορετικά σύνολα δεδομένων με τη μέθοδο head():
# Εμφάνιση των πρώτων γραμμών των προβλεπτικών μεταβλητών εκπαίδευσης
X_train.head()| Ad_Spend | |
|---|---|
| 70 | 77.22 |
| 78 | 222.29 |
| 47 | 19.87 |
| 0 | 114.19 |
| 12 | 68.75 |
Παρατηρήστε ότι οι τιμές του index έχουν μοιραστεί τυχαία μεταξύ του training set και του test set. Οι τιμές του index δεν αναδιατάσσονται ούτε επαναφέρονται· συνεχίζουν να ταυτοποιούν τις αρχικές παρατηρήσεις του συνόλου δεδομένων. Παρατηρήστε επίσης ότι το X_train περιέχει μόνο τις τιμές της προβλεπτικής μεταβλητής Ad_Spend. Οι αντίστοιχες τιμές της μεταβλητής-στόχου αποθηκεύονται ξεχωριστά στο y_train. Το index λειτουργεί ως σύνδεσμος μεταξύ των δύο objects: μια γραμμή με το ίδιο index στο X_train και στο y_train αναφέρεται στην ίδια αρχική παρατήρηση.
# Εμφάνιση των πρώτων γραμμών της μεταβλητής-στόχου εκπαίδευσης
y_train.head()70 663.75
78 14802.05
47 839.70
0 29089.69
12 15667.10
Name: Revenue, dtype: float64
Τώρα, θέλουμε να προσαρμόσουμε ένα μοντέλο γραμμικής παλινδρόμησης στο training set, χρησιμοποιώντας ως εισόδους τα X_train και y_train. Πριν το κάνουμε αυτό, πρέπει να εισαγάγουμε την κλάση LinearRegression() από το module sklearn.linear_model. Πρώτα δημιουργούμε ένα object που αναπαριστά το μοντέλο και στη συνέχεια χρησιμοποιούμε τη μέθοδο fit() για να εκτιμήσουμε τις παραμέτρους του μοντέλου από τα δεδομένα εκπαίδευσης.
from sklearn.linear_model import LinearRegression
# Δημιουργία ενός μοντέλου γραμμικής παλινδρόμησης
lm_model_simple = LinearRegression()
# Εκτίμηση των παραμέτρων του μοντέλου με τα δεδομένα εκπαίδευσης
lm_model_simple.fit(X_train, y_train)Η κλίση και ο σταθερός όρος του εκτιμώμενου μοντέλου γραμμικής παλινδρόμησης είναι διαθέσιμα μέσω των attributes coef_ και intercept_:
# Εμφάνιση του συντελεστή κλίσης
lm_model_simple.coef_array([50.32577847])
# Εμφάνιση του σταθερού όρου
lm_model_simple.intercept_np.float64(6323.339015187221)
Αυτές οι εκτιμήσεις διαφέρουν από εκείνες που προκύπτουν με ολόκληρο το σύνολο δεδομένων. Η LinearRegression() του scikit-learn δεν υπολογίζει ούτε αποθηκεύει p-values για τους συντελεστές. Μας δίνει τις εκτιμώμενες παραμέτρους (κλίση και σταθερό όρο), αλλά όχι τα αποτελέσματα στατιστικής συμπερασματολογίας. Αν όμως είχαμε χρησιμοποιήσει τη συνάρτηση ols() από το package statsmodels, θα διαπιστώναμε ότι τόσο ο σταθερός όρος όσο και η κλίση διαφέρουν στατιστικά σημαντικά από το 0 σε επίπεδο σημαντικότητας 1%, κάτι που αποτελεί ένδειξη γραμμικής συσχέτισης μεταξύ της προβλεπτικής μεταβλητής και της μεταβλητής απόκρισης. Ωστόσο, η εστίασή μας εδώ δεν είναι ο έλεγχος υποθέσεων, αλλά η ακρίβεια των προβλέψεων. Μαθηματικά, εκτιμήσαμε το εξής:
\[\widehat{\text{Revenue}} = 6323.34 + 50.33 \times \text{AdSpend}\]
Για να ελέγξουμε την ακρίβεια του μοντέλου, το χρησιμοποιούμε για να κάνουμε προβλέψεις στο test set. Αυτό είναι εφικτό επειδή το test set περιέχει όλες τις μεταβλητές (χαρακτηριστικά) του αρχικού συνόλου δεδομένων. Για παράδειγμα, αν μια παρατήρηση του test set έχει Ad_Spend = 100, τα προβλεπόμενα έσοδα θα είναι:
\[6323.34 + 50.33 \times 100 = 11356.34\]
Όπως σε κάθε πρόβλημα παλινδρόμησης, δεν θα προβλέψουμε ποτέ ακριβώς τα πραγματικά έσοδα· ο στόχος είναι να παραγάγουμε προβλέψεις όσο το δυνατόν πιο κοντά στις πραγματικές τιμές.
Μπορούμε να χρησιμοποιήσουμε το object lm_model_simple για να κάνουμε προβλέψεις στο test set με τη μέθοδο predict(). Αυτή η μέθοδος δέχεται ως είσοδο τις τιμές των προβλεπτικών μεταβλητών και επιστρέφει τις εκτιμώμενες τιμές της μεταβλητής-στόχου. Στην περίπτωσή μας, δίνουμε το X_test, το οποίο περιέχει τις τιμές του Ad_Spend που δεν χρησιμοποιήθηκαν κατά την εκπαίδευση του μοντέλου. Στη συνέχεια, το μοντέλο χρησιμοποιεί την εκτιμώμενη κλίση και τον σταθερό όρο για να υπολογίσει τις προβλεπόμενες τιμές των εσόδων.
# Δημιουργία προβλέψεων για το test set
y_pred = lm_model_simple.predict(X_test)
# Εμφάνιση των πρώτων τιμών
y_pred[:5]array([16446.87261144, 18814.70048828, 21741.64776387,
13050.88908055, 9798.83727606])
Οι τιμές που προκύπτουν στο y_pred αναπαριστούν τα έσοδα που προβλέπει το μοντέλο για τις παρατηρήσεις του X_test. Επειδή τα X_test και y_test έχουν τις ίδιες τιμές index, μπορούμε να συγκρίνουμε αυτές τις προβλέψεις με τα πραγματικά παρατηρούμενα έσοδα που είναι αποθηκευμένα στο y_test, για να αξιολογήσουμε την απόδοση του μοντέλου.
Σε αυτό το σημείο, το βασικό ερώτημα είναι πώς μπορούμε να κάνουμε μια τέτοια αξιολόγηση. Θα εξετάσουμε πιο προηγμένες μετρικές αξιολόγησης σε επόμενα κεφάλαια, αλλά μια απλή και διαισθητική μετρική είναι το μέσο απόλυτο σφάλμα (mean absolute error, MAE). Πρόκειται για τη μέση απόλυτη διαφορά μεταξύ των προβλεπόμενων και των πραγματικών εσόδων:
\[\text{MAE} = \frac{1}{N} \sum^N_{i = 1}|y_i - \hat{y}_i|\]
Αυτή η μετρική εκφράζεται στις ίδιες μονάδες με τη μεταβλητή-στόχο (έσοδα) και μετρά πόσο μακριά, κατά μέσο όρο, βρίσκονται οι προβλέψεις από τις πραγματικές τιμές. Επομένως, όσο χαμηλότερη είναι η τιμή του MAE, τόσο καλύτερες είναι κατά μέσο όρο οι προβλέψεις μας. Επειδή χρησιμοποιεί απόλυτες τιμές, οι υπερεκτιμήσεις (προβλεπόμενα έσοδα υψηλότερα από τα πραγματικά) και οι υποεκτιμήσεις (προβλεπόμενα έσοδα χαμηλότερα από τα πραγματικά) δεν αλληλοαναιρούνται, κάτι που κάνει τη μετρική εύκολη στην ερμηνεία.
Για να αξιολογήσουμε την προβλεπτική απόδοση του μοντέλου μας, μπορούμε να υπολογίσουμε το MAE στο test set με το scikit-learn. Αυτό γίνεται συγκρίνοντας τις πραγματικές τιμές του y_test με τις προβλεπόμενες τιμές που παράγει το μοντέλο μας για τις προβλεπτικές μεταβλητές ελέγχου X_test. Με άλλα λόγια, πρώτα δημιουργούμε προβλέψεις με το προσαρμοσμένο μοντέλο και στη συνέχεια συγκρίνουμε αυτές τις προβλέψεις με τα πραγματικά παρατηρούμενα αποτελέσματα.
Πριν το κάνουμε αυτό, εισάγουμε τη συνάρτηση mean_absolute_error() από το sklearn.metrics. Αυτή η συνάρτηση υλοποιεί τον τύπο του MAE και μας επιτρέπει να το υπολογίσουμε απευθείας από τις πραγματικές και τις προβλεπόμενες τιμές:
from sklearn.metrics import mean_absolute_error
# Υπολογισμός του μέσου απόλυτου σφάλματος
mae = mean_absolute_error(y_test, y_pred)
# Εμφάνιση του αποτελέσματος
mae9699.194593476483
Το αποτέλεσμα δείχνει ότι, κατά μέσο όρο, οι προβλέψεις μας διαφέρουν από τα πραγματικά έσοδα κατά περίπου €9,700. Το αν αυτό είναι ένα «καλό» αποτέλεσμα εξαρτάται από το πλαίσιο: την κλίμακα των εσόδων, την επιχειρηματική εφαρμογή και το κόστος των σφαλμάτων πρόβλεψης. Στη μηχανική μάθηση, η απόδοση ενός μοντέλου είναι πάντα σχετική με το πρόβλημα που λύνουμε.
Ως σημείο αναφοράς για σύγκριση, μπορούμε να θεωρήσουμε ένα πολύ απλό μοντέλο: να χρησιμοποιήσουμε μόνο τα μέσα έσοδα του training set ως πρόβλεψη για κάθε παρατήρηση του test set. Σε αυτή την περίπτωση, ανεξάρτητα από τη διαφημιστική δαπάνη, τα προβλεπόμενα έσοδα είναι πάντα η ίδια σταθερή τιμή.
import numpy as np
# Υπολογισμός των μέσων εσόδων από το training set
average_revenue = y_train.mean()
# Υπολογισμός του MAE με το μοντέλο αναφοράς (πρόβλεψη με το mean)
mae_baseline = np.mean(np.abs(y_test - average_revenue))
# Εμφάνιση των αποτελεσμάτων
mae_baselinenp.float64(13580.480177514795)
Το MAE είναι τώρα πολύ υψηλότερο. Αυτό δείχνει ότι ακόμη και ένα απλό μοντέλο γραμμικής παλινδρόμησης μπορεί να παράγει σημαντικά καλύτερες προβλέψεις από ένα αφελές μοντέλο αναφοράς, που αγνοεί όλα τα χαρακτηριστικά και χρησιμοποιεί μόνο τον μέσο όρο.
Πολλαπλή γραμμική παλινδρόμηση στη μηχανική μάθηση
Μέχρι στιγμής, δεν έχουμε παρουσιάσει καμία εντελώς νέα έννοια. Αντί να δημιουργήσουμε ένα μοντέλο γραμμικής παλινδρόμησης χρησιμοποιώντας ολόκληρο το αρχικό σύνολο δεδομένων, χωρίσαμε το σύνολο δεδομένων σε δύο μέρη: ένα για την εκτίμηση των συντελεστών και ένα για τις προβλέψεις και την αξιολόγηση της ακρίβειας. Συνεχίζουμε με την ίδια προσέγγιση εδώ, για να δούμε πώς η συμπερίληψη περισσότερων προβλεπτικών μεταβλητών μπορεί να επηρεάσει την προβλεπτική απόδοση.
Αυτή τη φορά, προσθέτουμε στο μοντέλο το χαρακτηριστικό Product_Quality_Score και εκπαιδεύουμε μια πολλαπλή γραμμική παλινδρόμηση:
# Διαχωρισμός των προβλεπτικών μεταβλητών από τη μεταβλητή-στόχο
X = eshop_revenues[["Ad_Spend", "Product_Quality_Score"]]
y = eshop_revenues["Revenue"]
# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size = 0.20, random_state = 42
)
# Δημιουργία ενός μοντέλου γραμμικής παλινδρόμησης
lm_model_multiple = LinearRegression()
# Εκτίμηση των παραμέτρων του μοντέλου με τα δεδομένα εκπαίδευσης
lm_model_multiple.fit(X_train, y_train)Ακολουθούμε τα ίδια βήματα με πριν για να υπολογίσουμε το MAE στο test set:
# Πρόβλεψη στο test set
y_pred = lm_model_multiple.predict(X_test)
# Υπολογισμός του μέσου απόλυτου σφάλματος
mae = mean_absolute_error(y_test, y_pred)
# Εμφάνιση του αποτελέσματος
mae7472.2474603022865
Αυτή τη φορά, το MAE είναι πολύ χαμηλότερο! Η προσθήκη της επιπλέον προβλεπτικής μεταβλητής βελτιώνει τις προβλέψεις του μοντέλου. Μπορούμε να τα πάμε ακόμη καλύτερα; Ας δημιουργήσουμε ένα πιο προηγμένο μοντέλο, συμπεριλαμβάνοντας τόσο το Ad_Spend όσο και το Product_Quality_Score μαζί με την αλληλεπίδρασή τους:
# Χειροκίνητη δημιουργία του όρου αλληλεπίδρασης
eshop_revenues["AdSpend_x_Quality"] = (
eshop_revenues["Ad_Spend"] * eshop_revenues["Product_Quality_Score"]
)
# Διαχωρισμός των προβλεπτικών μεταβλητών από τη μεταβλητή-στόχο
X = eshop_revenues[["Ad_Spend", "Product_Quality_Score", "AdSpend_x_Quality"]]
y = eshop_revenues["Revenue"]
# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size = 0.2, random_state = 42
)
# Δημιουργία ενός μοντέλου γραμμικής παλινδρόμησης
lm_model_multiple = LinearRegression()
# Εκτίμηση των παραμέτρων του μοντέλου με τα δεδομένα εκπαίδευσης
lm_model_multiple.fit(X_train, y_train)
# Πρόβλεψη στο test set
y_pred = lm_model_multiple.predict(X_test)
# Υπολογισμός του μέσου απόλυτου σφάλματος
mae = mean_absolute_error(y_test, y_pred)
# Εμφάνιση του αποτελέσματος
mae7014.642195395383
Το MAE μειώνεται ακόμη περισσότερο, δείχνοντας ότι η συμπερίληψη της αλληλεπίδρασης των δύο προβλεπτικών μεταβλητών βελτιώνει την απόδοση του μοντέλου.
Τώρα, ας πάμε τα πράγματα στα άκρα, συμπεριλαμβάνοντας όλα τα διαθέσιμα χαρακτηριστικά και τις αλληλεπιδράσεις τους ανά ζεύγη, και στη συνέχεια ας αξιολογήσουμε την ακρίβεια του μοντέλου στο test set. Για να το κάνουμε αυτό, πρέπει πρώτα να κατασκευάσουμε έναν διευρυμένο χώρο χαρακτηριστικών, που να περιλαμβάνει όχι μόνο τις αρχικές μεταβλητές, αλλά και όλους τους όρους αλληλεπίδρασης μεταξύ τους. Στο scikit-learn, αυτό μπορεί να γίνει με την κλάση PolynomialFeatures από το module sklearn.preprocessing, η οποία δημιουργεί αυτόματα αυτά τα επιπλέον χαρακτηριστικά.
Πριν εφαρμόσουμε αυτόν τον μετασχηματισμό, ορίζουμε το X αφαιρώντας απλώς από το σύνολο δεδομένων τη μεταβλητή-στόχο (Revenue) μαζί με τη μεταβλητή που δημιουργήσαμε, AdSpend_x_Quality. Έτσι, εξασφαλίζουμε ότι όλες οι υπόλοιπες στήλες αντιμετωπίζονται ως πιθανές προβλεπτικές μεταβλητές και ότι καμία πληροφορία από τη μεταβλητή-στόχο δεν «διαρρέει» στο σύνολο των χαρακτηριστικών:
from sklearn.preprocessing import PolynomialFeatures
# Ορισμός των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου
X = eshop_revenues.drop(columns = ["Revenue", "AdSpend_x_Quality"])
y = eshop_revenues["Revenue"]Στη συνέχεια, εφαρμόζουμε την PolynomialFeatures με degree = 2 και interaction_only = True, η οποία δημιουργεί όλες τις αλληλεπιδράσεις ανά ζεύγη μεταξύ των χαρακτηριστικών, επιπλέον των αρχικών μεταβλητών. Επειδή μας ενδιαφέρουν μόνο οι επιδράσεις αλληλεπίδρασης και όχι οι πολυωνυμικοί όροι ανώτερης τάξης (όπως οι τετραγωνικοί όροι), αυτό το βήμα ουσιαστικά διευρύνει τον χώρο των χαρακτηριστικών μας ώστε να περιλαμβάνει όλες τις σχέσεις δεύτερης τάξης μεταξύ των προβλεπτικών μεταβλητών.
# Δημιουργία μιας γεννήτριας πολυωνυμικών χαρακτηριστικών που περιλαμβάνει όλες τις αλληλεπιδράσεις ανά ζεύγη
poly = PolynomialFeatures(degree = 2, interaction_only = True, include_bias = False)
# Διεύρυνση του πίνακα χαρακτηριστικών στον χώρο των πολυωνυμικών χαρακτηριστικών
X_poly = poly.fit_transform(X)Ο πίνακας X_poly που προκύπτει περιέχει πλέον τα αρχικά χαρακτηριστικά καθώς και όλους τους όρους αλληλεπίδρασης ανά ζεύγη μεταξύ τους. Μπορούμε στη συνέχεια να προχωρήσουμε με τη συνήθη ροή εργασίας: διαχωρίζουμε το μετασχηματισμένο σύνολο δεδομένων σε training set και test set, προσαρμόζουμε ένα μοντέλο γραμμικής παλινδρόμησης και αξιολογούμε την προβλεπτική του απόδοση:
# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
X_poly, y, test_size = 0.2, random_state = 42
)
# Δημιουργία ενός μοντέλου γραμμικής παλινδρόμησης
lm_model_all = LinearRegression()
# Εκτίμηση των παραμέτρων του μοντέλου με τα δεδομένα εκπαίδευσης
lm_model_all.fit(X_train, y_train)
# Πρόβλεψη στο test set
y_pred = lm_model_all.predict(X_test)
# Υπολογισμός του μέσου απόλυτου σφάλματος
mae = mean_absolute_error(y_test, y_pred)
# Εμφάνιση του αποτελέσματος
mae5151.846199819311
Η απόδοση φαίνεται ικανοποιητική. Κατά μέσο όρο, τα προβλεπόμενα έσοδα αποκλίνουν κατά περίπου €5,480 από τα πραγματικά έσοδα.
Σημαίνει αυτό ότι πρέπει πάντα να συμπεριλαμβάνουμε όλα τα χαρακτηριστικά και τις αλληλεπιδράσεις; Όχι απαραίτητα. Η αντιστάθμιση μεροληψίας–variance μάς υπενθυμίζει ότι η προσθήκη περισσότερων χαρακτηριστικών και αλληλεπιδράσεων μπορεί μερικές φορές να αυξήσει το variance και να μειώσει τη γενίκευση, οδηγώντας σε χειρότερη ακρίβεια στο test set.
Για να το δούμε αυτό στην πράξη, ας ακολουθήσουμε την ίδια διαδικασία με πριν (χρησιμοποιώντας όλα τα διαθέσιμα χαρακτηριστικά και τις αλληλεπιδράσεις τους), αλλά αυτή τη φορά ας εξαιρέσουμε το χαρακτηριστικό New_Product:
# Ορισμός των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου
X = eshop_revenues.drop(columns = ["Revenue", "AdSpend_x_Quality", "New_Product"])
y = eshop_revenues["Revenue"]
# Δημιουργία μιας γεννήτριας πολυωνυμικών χαρακτηριστικών που περιλαμβάνει όλες τις αλληλεπιδράσεις ανά ζεύγη
poly = PolynomialFeatures(degree = 2, interaction_only = True, include_bias = False)
# Διεύρυνση του πίνακα χαρακτηριστικών στον χώρο των πολυωνυμικών χαρακτηριστικών
X_poly = poly.fit_transform(X)
# Διαχωρισμός των δεδομένων σε training set και test set
X_train, X_test, y_train, y_test = train_test_split(
X_poly, y, test_size = 0.2, random_state = 42
)
# Δημιουργία ενός μοντέλου γραμμικής παλινδρόμησης
lm_model_all_except_new = LinearRegression()
# Εκτίμηση των παραμέτρων του μοντέλου με τα δεδομένα εκπαίδευσης
lm_model_all_except_new.fit(X_train, y_train)
# Πρόβλεψη στο test set
y_pred = lm_model_all_except_new.predict(X_test)
# Υπολογισμός του μέσου απόλυτου σφάλματος
mae = mean_absolute_error(y_test, y_pred)
# Εμφάνιση του αποτελέσματος
mae5020.158675621228
Παραδόξως, το MAE είναι ακόμη χαμηλότερο (περίπου €5,040) όταν χρησιμοποιούμε ένα μοντέλο με λιγότερες προβλεπτικές μεταβλητές. Αυτό είναι ένα κλασικό παράδειγμα της αντιστάθμισης μεροληψίας–variance: ένα πιο σύνθετο μοντέλο μπορεί να προσαρμόζεται πολύ καλά στα δεδομένα εκπαίδευσης (χαμηλή μεροληψία), αλλά να γενικεύει χειρότερα (υψηλό variance).
Θα μπορούσαμε να σκεφτούμε ότι αυτό το χαρακτηριστικό απλώς δεν ήταν σημαντικό εξαρχής. Όπως ακριβώς η συμπερίληψη άσχετων ανεξάρτητων μεταβλητών σε ένα μοντέλο παλινδρόμησης για στατιστική συμπερασματολογία μπορεί να αυξήσει τα standard errors όλων των συντελεστών χωρίς να βελτιώσει τις εκτιμήσεις (βλ. Κεφάλαιο Πολλαπλή γραμμική παλινδρόμηση και στατιστική συμπερασματολογία), έτσι και η συμπερίληψη ενός τέτοιου χαρακτηριστικού σε ένα μοντέλο μηχανικής μάθησης μπορεί να βλάψει την προβλεπτική απόδοση.
Ήταν όμως το New_Product πράγματι άσχετο; Ας ελέγξουμε το R-squared και τα p-values των lm_model_all και lm_model_all_except_new. Ο παρακάτω κώδικας χρησιμοποιεί αρχικά την ίδια ροή εργασίας μηχανικής μάθησης, αλλά στη συνέχεια περνά σε μια ελαφρώς διαφορετική προσέγγιση κατά την οριστικοποίηση του συνόλου δεδομένων με τις τιμές των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου. Έπειτα, χρησιμοποιεί το module statsmodels για να προσαρμόσει ένα μοντέλο γραμμικής παλινδρόμησης, ώστε να εξαγάγει το R-squared και τα p-values των δύο μοντέλων. Η εστίασή μας δεν είναι στον ίδιο τον κώδικα, αλλά στη στατιστική ερμηνεία των αποτελεσμάτων και στη σύγκριση μεταξύ των δύο προδιαγραφών του μοντέλου.
import statsmodels.api as sm
from statsmodels.regression.linear_model import OLS
# Ορισμός των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου
X = eshop_revenues.drop(columns = ["Revenue", "AdSpend_x_Quality"])
y = eshop_revenues["Revenue"]
# Δημιουργία πολυωνυμικών χαρακτηριστικών (όλες οι αλληλεπιδράσεις ανά ζεύγη)
poly = PolynomialFeatures(degree = 2, interaction_only = True, include_bias = False)
X_poly = poly.fit_transform(X)
# Διατήρηση των ονομάτων των χαρακτηριστικών (ΣΗΜΑΝΤΙΚΟ για την ερμηνεία του OLS)
feature_names = poly.get_feature_names_out(X.columns)
X_poly = pd.DataFrame(X_poly, columns = feature_names)
# Διαχωρισμός των δεδομένων
X_train, X_test, y_train, y_test = train_test_split(
X_poly, y, test_size = 0.2, random_state = 42
)
# Ανακατασκευή του συνόλου δεδομένων εκπαίδευσης
train_data = X_train.copy()
train_data["Revenue"] = y_train
# Προσαρμογή του μοντέλου γραμμικής παλινδρόμησης
lm_model_all_check = OLS(
train_data["Revenue"],
sm.add_constant(train_data.drop(columns = ["Revenue"]))
).fit()
# Εμφάνιση των p-values
lm_model_all_check.pvaluesconst 3.16e-02
Ad_Spend 1.96e-03
Website_Visitors 1.49e-01
Product_Quality_Score 7.95e-02
Customer_Satisfaction 1.58e-02
Price 5.64e-03
New_Product 3.77e-01
Ad_Spend Website_Visitors 1.51e-02
Ad_Spend Product_Quality_Score 2.08e-05
Ad_Spend Customer_Satisfaction 2.98e-02
Ad_Spend Price 3.52e-08
Ad_Spend New_Product 1.21e-01
Website_Visitors Product_Quality_Score 7.30e-01
Website_Visitors Customer_Satisfaction 1.00e-01
Website_Visitors Price 1.53e-01
Website_Visitors New_Product 5.89e-01
Product_Quality_Score Customer_Satisfaction 6.77e-03
Product_Quality_Score Price 2.14e-01
Product_Quality_Score New_Product 4.90e-02
Customer_Satisfaction Price 1.47e-02
Customer_Satisfaction New_Product 5.15e-02
Price New_Product 9.81e-01
dtype: float64
# Εμφάνιση του R-squared
lm_model_all_check.rsquarednp.float64(0.9110229770490959)
# Ορισμός των προβλεπτικών μεταβλητών και της μεταβλητής-στόχου
X = eshop_revenues.drop(columns = ["Revenue", "AdSpend_x_Quality", "New_Product"])
y = eshop_revenues["Revenue"]
# Δημιουργία πολυωνυμικών χαρακτηριστικών (όλες οι αλληλεπιδράσεις ανά ζεύγη)
poly = PolynomialFeatures(degree = 2, interaction_only = True, include_bias = False)
X_poly = poly.fit_transform(X)
# Διατήρηση των ονομάτων των χαρακτηριστικών (ΣΗΜΑΝΤΙΚΟ για την ερμηνεία του OLS)
feature_names = poly.get_feature_names_out(X.columns)
X_poly = pd.DataFrame(X_poly, columns = feature_names)
# Διαχωρισμός των δεδομένων
X_train, X_test, y_train, y_test = train_test_split(
X_poly, y, test_size = 0.2, random_state = 42
)
# Ανακατασκευή του συνόλου δεδομένων εκπαίδευσης
train_data = X_train.copy()
train_data["Revenue"] = y_train
# Προσαρμογή του μοντέλου γραμμικής παλινδρόμησης
lm_model_all_except_new_check = OLS(
train_data["Revenue"],
sm.add_constant(train_data.drop(columns = ["Revenue"]))
).fit()
# Εμφάνιση του R-squared
lm_model_all_except_new_check.rsquarednp.float64(0.8868067648123408)
Με βάση τη σύνοψη της προσαρμογής των μοντέλων, το lm_model_all φαινόταν στην πραγματικότητα καλύτερο. Όχι μόνο ήταν το R-squared (μετρική καλής προσαρμογής) ελαφρώς υψηλότερο, αλλά υπήρχαν επίσης δύο οριακά στατιστικά σημαντικές επιδράσεις αλληλεπίδρασης. Ωστόσο, το μοντέλο lm_model_all_except_new είχε καλύτερη ακρίβεια στο test set. Αυτό αναδεικνύει ένα σημαντικό δίδαγμα: ένα μοντέλο βελτιστοποιημένο για στατιστική συμπερασματολογία δεν είναι απαραίτητα το ίδιο με ένα μοντέλο βελτιστοποιημένο για πρόβλεψη. Διαφορετικοί σκοποί μπορεί να απαιτούν διαφορετικά μοντέλα.
Αποποίηση ευθύνης
Η δημιουργία και ο έλεγχος πολλών διαφορετικών μοντέλων και ο έλεγχος της ακρίβειάς τους στο test set δεν αποτελεί βέλτιστη πρακτική, επειδή ουσιαστικά κάνει το test set μέρος της διαδικασίας εκπαίδευσης. Θα εξετάσουμε καλύτερες προσεγγίσεις σε επόμενα κεφάλαια.
Ανακεφαλαίωση
Σε αυτό το κεφάλαιο, εξετάσαμε την απλή και την πολλαπλή γραμμική παλινδρόμηση από προβλεπτική σκοπιά, εστιάζοντας στην αξιολόγηση του μοντέλου με δεδομένα που δεν έχει δει, αντί για τη στατιστική συμπερασματολογία. Χρησιμοποιήσαμε τη ροή εργασίας του scikit-learn για να εκπαιδεύσουμε μοντέλα, να δημιουργήσουμε προβλέψεις και να αξιολογήσουμε την απόδοση με το MAE, αυξάνοντας σταδιακά την πολυπλοκότητα του μοντέλου με την προσθήκη προβλεπτικών μεταβλητών, όρων αλληλεπίδρασης και πλήρων διευρύνσεων των χαρακτηριστικών. Δείξαμε ότι, ενώ τα πιο σύνθετα μοντέλα συχνά βελτιώνουν την προσαρμογή στα δεδομένα εκπαίδευσης, δεν βελτιώνουν πάντα την απόδοση στο test set, αναδεικνύοντας την αντιστάθμιση μεροληψίας–variance και τη σημασία της αξιολόγησης των μοντέλων με βάση την προβλεπτική τους ακρίβεια.